静园5号院前沿讲座 | Yoshua Bengio谈通过深度学习理解世界的构成
关键词：deep learning
编者按
2019年10月8日，图灵奖得主、蒙特利尔大学教授、Mila创始人Yoshua Bengio在北京大学静园五院带来了题为“Towards Compositional Understanding of the World by Deep Learning”的在线讲座。报告由中心执行主任陈宝权教授主持，听众包括来自北京大学、清华大学、北京理工大学等高校的师生，以及微软亚洲研究院、旷视科技等工业界研究人员。
▲ Yoshua Bengio教授报告现场
尽管人工智能在近十几年取得了突破性的进展，现在的人工智能离具有人类智慧的人工智能还很遥远。现有机器学习算法的样本复杂度相对较高，模型对世界的理解还停留在浅层，人们在解耦表示学习方面也没有取得令人满意的突破。
▲ Yoshua Bengio教授报告主题
Bengio 教授就此现象提出了深度学习需要的四要素：
元学习
稀疏交互模块
因果理解
以代理视角看待深度学习
1
元学习
Meta Learning
现有的机器学习算法理论只保证了模型在同分布的数据集上的泛化能力。但真实世界的数据分布往往是不断变化的。为了提高模型的泛化能力以及更好更快地在不同分布的数据集上进行迁移，元学习扮演了重要的角色。
以上两个公式体现了元学习的核心思想。元学习包含两个优化过程：内层优化依赖于元学习参数 ω，并在某个数据分布
2
稀疏交互模块
Sparsely Interacting Modules
Bengio 教授主要强调了2个概念：
注意力机制（attention mechanism）
人的一个想法（thought）可以认为是一个低维的目标，由几个方面的状态组成，而这些方面是从一个巨大的集合中挑选的。注意力机制让人类在解决问题时可以挑选重要的方面形成自己的思维，这个机制在深度学习中也同样适用。深度学习的注意力机制（attention-mechanism）最早出现在2014年的一篇机器翻译的文章中，现在它已经成为了许多模型中的标准模块（Transformer, Bert etc.）
意识（consciousness）
如上图所示，从原始输入直接得到的高维抽象向量通常是无意识（unconsciousness），它包含了各种概念（concepts）和因素（factors）。通过注意力机制，我们可以抽取无意识表示中我们需要的方面，组成低维有意识表示 c。由注意力机制的定义，c 中包含了各个因素的键（key）和值（value）。
概括地讲，使用注意力机制、学习有意识表示的最终目的是关注那些重要的变量，将纠缠的因素分解成互相独立的因素，每个因素捕捉了某一方面的知识（disentangle）。
3
因果理解
Casual Understanding
让机器学会因果理解就是让其学习世界运行的规律 ，而不是简单的利用数据集的统计特征。因此深度学习的目标之一就是学习那些可以捕捉因果变量的抽象表示。
4
以代理视角看待深度学习
The Agent Prespective in Deep Learning
这个要素其实是之前三个要素的一个总结。Agent 是一个会采取行动来改变环境的机器。Agent 需要真正的理解整个环境和世界来获得很好的泛化能力。Agent 在不断的从环境中获取知识，学习更好的表示。
此外，Bengio 教授还介绍了两种系统的定义：
定义系统1：这类系统采取的动作往往是快速的，直觉的，没有意识的，好比人类的条件反射。现有深度学习在这类系统上可以做的非常好。
定义系统2：这类系统采取的动作往往是缓慢的，有逻辑的，有意识的，好比人类的非条件反射。
系统1非常高效，但是在训练数据分布外的泛化能力非常差。系统2非常低效和缓慢，但它可以像人一样去推理那些不存在的场景。将这两个系统相互结合，就可以融合他们各自的优势，使得人工智能像人类一样思考。
最后，Bengio 教授总结了四大组合式深度学习的工具：
元学习（快速迁移到变化后到数据分布上）
稀疏交互机制（有意识的表示学习）
抽象的变量具有因果关系，他们的依赖关系可以被模块化表示
系统1和系统2相结合
报告结束后，在座的师生们围绕机器学习和深度学习这两个话题，向 Yoshua Bengio 教授提出了许多问题，Bengio 教授进行了耐心和细致的回答。陈宝权教授代表中心感谢 Bengio 教授在加拿大的清晨专程为北京大学的师生带来内容丰富而精彩的讲座。
▲ 报告提问环节
后记：以上即为对 Bengio 教授本次讲座的总结。本次讲座涉及到许多抽象的深层次的概念，翻译成中文后所表达的概念的准确性可能会受到影响，经 Bengio 教授授权，附上报告的slides供大家学习，点击“阅读原文”下载。slides仅供个人学习，禁止转载及任何商业用途。
此外，报告录像也将在近期通过“北大讲座网”公开，敬请关注。
CFCS杰出讲座系列
北京大学前沿计算研究中心杰出讲座系列（又称“静园5号院前沿讲座”），邀请计算机科学、人工智能等相关领域顶级学者（图灵奖获得者、工程院/科学院院士等），分享领域内前沿技术、前瞻思想。目前已邀请的讲者包括图灵奖获得者、康奈尔大学 John Hopcroft 教授，多伦多大学 Geoffery Hinton 教授，麻省理工学院 Silvil Micali 教授，奥斯卡技术奖获得者、加州大学洛杉矶分校 Demetri Terzopoulos 教授等多位知名专家学者。
记录 | 史晨策
图片 | CFCS
往 期 报 告
— 版权声明 —
本微信公众号所有内容，由北京大学前沿计算研究中心微信自身创作、收集的文字、图片和音视频资料，版权属北京大学前沿计算研究中心微信所有；从公开渠道收集、整理及授权转载的文字、图片和音视频资料，版权属原作者。本公众号内容原作者如不愿意在本号刊登内容，请及时通知本号，予以删除。
点“阅读原文”查看报告PPT